حركت توده اي يك نوع حركت دسته جمعي هماهنگ است كه معمولا با استفاده از ارتباطات اندک موجود بين اعضاي آن و اطلاعات محدود از وضعيت کل سيستم انجام مي شود. با وجود توانايي و هوش محدود و اندك براي هر عضو، مجموعه اين اعضا در كنار هم قادر به انجام اهداف سطح بالا و قابل توجهي هستند.

با ايده گرفتن از حرکات توده اي موجود در طبيعت و مشاهده تعامل بين-عضوي در آنها زمينه جديدي در علم رباتيک به وجود آمد که حرکات توده رباتيکي  را شبيه سازي مي کند. توده رباتيکي از تعدادي ربات هاي همسان-که هر کدام از آنها در اين توده داراي قابليت هاي پايين هستند- تشکيل شده است که اين تعداد در کنار هم و به طور جمعي توانايي هاي قابل توجهي پيدا مي کنند.

در اين فصل به مرور پژوهش هاي پيشين در زمينه توده رباتيکي، توضيح مدل توده رباتيكي استفاده شده در اين رساله، تعريف موضوع و بيان اهميت و نوآوري آن مي پردازيم.

در اينجا اهداف كنترلي توده رباتيكي مورد بحث و بررسي قرار مي گيرد. اهداف كنترلي مورد بحث عبارتند از: 

1- كنترل رفتاري اعضاي توده به منظور تقليد مدل واقعي توده رباتيكي از مدل مطلوب آن.

2- كنترل حركت اعضاي توده به منظور طي كردن مسير معين.

اين اهداف به وسيله يكي از روش هاي نوين كنترلي مبتني بر يادگيري تقويتي به نام كنترلر فازي- عصبي تطبيقي با وجود نقاد انجام شده است. در اين روش نقاد با نقد عملكرد كنترلر يادگيري تقويتي را پياده سازي مي كند. از مزيت هاي اين روش كنترلي نوين مي توان به سادگي ساختار آن، سرعت يادگيري و همگرايي سريع، عدم وابستگي به مدل، انجام همزمان كنترل و يادگيري و مقاوم بودن آن در برابر نويزهاي مختلف اشاره كرد. 

در اين فصل ابتدا به معرفي كنترلرهاي مبتني بر يادگيري تقويتي پرداخته شده است و در ادامه آن دو نوع از اين كنترلرها به نام كنترلرهاي تقويتي كلاسيك و نوين معرفي شده اند. سپس دو هدف كنترلي گفته شده در بالا و خصوصيات كنترلر طراحي شده و نتايج شبيه سازي در هر كدام از اهداف به طور مجزا توضيح داده شده اند.

انواع مسائل بهينه سازي را مي توان به چهار دسته كلي تقسيم كرد:

1- بر حسب تعداد اهدافي كه بايد بهينه شوند:

 اين مسائل به دو دسته تقسيم مي شوند: مسائل بهينه سازي تك هدفه  و چندهدفه . دسته اول مسائل بهینه سازي که در آنها فقط یک پارامتر بهینه می شود، مانند کمترین مسافت طی شده بین دو نقطه شهری و دسته دوم مسائل بهینه سازی که در آنها بیش از یک هدف بهینه می شوند، مثل مسئله کمترین مسافت طی شده درکمترین زمان بین دو نقطه ی شهری.

2- برحسب وجود تغییرات زمانی درتابع هزینه  (تابع هدف )‌:‌

از نظر كلي بهينه سازي شامل اعمال تغييرات بر روي يك راه حل اوليه و استفاده از اطلاعات جمع-آوري شده به منظور بهبود اين راه حل است. به بيان ديگر بهينه سازي، فرآيند تنظيم ورودي هاي يك تابع براي اكسترمم كردن خروجي ها يا تنظيم پارامترهاي يك فرآيند براي اكسترمم كردن يك نتيجه است.